Segel sinh vào ngày 18 tháng 1 năm 1980 tại Los Angeles, California, là con trai của Jillian, một nhà nội trợ và Alvin G. Segel, một luật sư[1][2]. Anh lớn lên tại Pacific Palisades, California. Cha của anh là người Do thái còn mẹ của anh theo đạo Đô đốc.[3] Anh từng khẳng định mình lớn lên trong cộng đồng người Do Thái.[4] Anh đến học tại trường Hebrew và sau đó đăng ký vào một trường có giám mục bởi nhà thờ. Anh có một người anh họ tên là Adam và người em tên là Alison.[5][6]

Anh tốt nghiệp ở trường trung học Harvard-Westlake,[7] lúc đó anh có chiều cao đến 1 mét 93,[8][9] giúp anh có được một chân trong đội tuyển bóng rổ nam của quốc gia hai năm 1996 và 1997.[7] Anh ngồi ghế dự bị thay cho ngôi sao chơi chính, Jason Collins. Segal có mong muốn trở thành một nam diễn viên chuyên nghiệp từ lúc còn ở Đại học. Sau đó, anh đi diễn tại nhà hát địa phương.